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摘 要 : 针对 传统 的 基于 软件 协议 栈 无 法 满足 高 速 数据 传输 处 理 的 需求 ， 提 出 了 一 种 基于 硬件 加 速 的 UDP 协议 栈 
设计 方案 ， 该 方案 基于 硬件 高 效 并 行 的 特点 ， 实 现 了 UDP/P 协议 栈 ， 满 足 了 万 兆 以 太 网 数据 传输 高 带宽 需求 的 问 
题 ， 通 过 实际 测试 表明 ， 该 设计 最 高 可 以 达到 9.32Gbps 传输 速率 ， 满 足 10Gbps 带宽 下 线 速 处 理 的 需求 ， 与 传统 软 
件 实 现 相 比 ， 处 理 能 力 更 接近 理论 极限 。 
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Design and implementation of 10G ethernet UDP/IP hardware protocol stack based on FPGA 


Dong Yongji, Wang Yu, Yuan Zheng 
(PLA Strategic support force information engineering university, Zhengzhou 450002, China) 


Abstract: Aiming at the problem that the traditional software protocol stack can not meet the performance requirement of 
high-speed data transmission, this paper presents a design Scheme of UDP protocol stack based on hardware acceleration. The 
design is based on the characteristics of efficient and parallel hardware to implements the UDP/IP protocol stack. and solves 
the problem of poor performance of high-speed data transmission. The actual test shows that the design can reach the highest 
level. To 9.32 Gbps transmission rate, it meets the need of 10 Gbps bandwidth downlink speed processing. Compared with 
traditional software implementation, it shows that the processing capacity of the proposed method is closer to the theoretical 
limit. 
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0 | 言 用 IP 核 。 

5| 富 综 上 可 知 ， 当 前 硬件 协议 栈 研究 主要 集中 在 干 光 以 太 网 
随 着 网 络 技术 的 飞速 发 展 、 网 络 带 宽 的 迅速 提升 ， 数 以 ”环境 ， 而 万 光 以 太 网 的 硬件 协议 栈 是 当前 的 应 用 热点 。 本 文 

万 计 的 视频 、 图 像 等 业务 数据 逐渐 成 为 高 速 链 路 传输 的 主要 “基于 FPGA 实现 的 UDP/IP 协议 栈 为 面向 10G 网 络 环境 设计 ， 

组 成 ， 面 对 海量 数据 的 传输 压力 ， 传 统 操作 系统 内 置 协议 梭 。 具有 以 下 优势 1. 集 协议 帧 的 解析 、 处 理 、 发 送 和 接收 于 一 

或 以 软件 为 核心 的 协议 栈 加 速 技 术 已 经 不 能 满足 高 速 、 低 延 。“ 体 ， 大 幅 提 升 系统 UDP 应 用 的 传输 效能 。2 基于 FPGA 可 重 

迟 传输 的 需求 。 构 可 配置 的 特点 ， 可 以 部 署 于 不 同 场景 的 网 络 环境 中 ;3 
根据 网 络 处 理 经 验 ，1Gbps 的 以 太 网 传输 需要 1GHz 的 。 ”向 服务 器 应 用 设计 ， 可 支持 多 端口 多 点 业务 的 并 发 连接 。 


: 理 器 频率 , 面 对 万 兆 高 速 网 络 的 传输 需求 , 大 量 CPU ; 


资源 都 被 将 消耗 网 络 协议 的 处 理 上 。 基 于 硬件 实现 的 UDP/IP 

协议 栈 ， 因 通过 硬件 固化 协议 栈 的 处 理 罗 辑 ， 进 而 能 提供 高 为 了 提高 UDP 协议 的 传输 效能 ， 本 文 提出 一 种 基于 

吞吐 率 、 低 延迟 、 高 带宽 的 传输 性 能 口 。 FPGA 的 UDP 协议 栈 设计 方案 ， 该 设计 基于 斯 坦 福 大 学 的 
鉴于 FPGA 兼备 灵活 可 配置 和 高 速 并 行 处 理 的 特性 ， 尤 “NetFEPGA-10G04 板 卡 实现 ， 能 够 尽 可 能 多 地 支持 各 种 应 用 。 


这 


其 适合 在 高 速 传输 领域 固化 协议 栈 来 提升 系统 的 处 理 能 力 。 本 方案 利用 该 板 卡 PCI Express 接口 的 便携 扩展 能 力 强 的 4 
熊 光 阳 争 等 人 提出 了 一 种 基于 FPGA 实现 MAC 及 UDP/P 协 点 ， 方 便 在 服务 器 应 用 场景 中 通过 扩展 物理 接口 的 方式 ， 刘 
议 栈 的 方法 ， 旨 在 解雇 千 兆 以 太 网 高 速 传输 的 问题 ; 崔 稚 B 署 该 硬件 协议 栈 到 服务 器 系统 中 ， 提 升 服务 器 中 各 种 应 用 
等 利用 硬件 实现 了 UDP/IP 协议 数据 的 封装 和 拆 封 ，Guixé UDP 协议 的 加 速 传 输 处 理 。 
Orriols GO 面向 DAQ 应 用 , 基于 INTELFPGA 实现 了 一 个 通 FPGA 作为 硬件 子 系统 设计 中 的 重点 和 难点 ,根据 FPGA 
用 的 千 兆 UDP/ 了 协议 核 ; 冯 琛 外 面向 高 性 能 协议 协议 处 理 需 硬件 结构 特点 实现 了 协议 处 理 功能 ， 并 将 硬件 部 分 划分 为 
求 ， 设 计 了 一 个 高 效 的 千 兆 协议 栈 ， Nianyun Liulg 等 人 提出 10GMAC 接口 模块 、 协 议 解析 模块 、ARP 响应 模块 、ICMP 
了 一 个 适用 于 大 型 传感器 网 络 的 UDP/IP 协议 栈 ， 比 软件 处 响应 模块 、 协 议 封 装 模 块 、UDP 协议 处 理 模块 、PCIE-DMA 
理 提升 了 8 倍 的 性 能 。 面 对 万 浪 应 用 场景 ， 王 熏 衡 中 设计 了 模块 ， 模 块 划 分 如 图 1 所 示 。 


一 个 10G 以 太 网 UDP/IP 处 理 器 视频 传输 接口 ， 夏 杨 回 设计 1) 协 议 解析 模块 
了 一 种 万 兆 以 太 网 分 发 平台 ， 满 足 万 兆 以 太 网 UDP 传输 的 该 模块 主要 实现 数据 报 文 的 协议 解析 处 理 ， 并 为 后 续 响 


需求 ， 彭 鹏 名 面向 核 物 理 低 时 延 的 处 理 需 求 ， 实 现 了 一 个 高 。 应 报 文 的 生成 和 封装 提取 用 户 的 相关 信息 。 首 先 该 模块 对 到 
速 协议 处 理 模块 , 而 国外 厂商 PLDANY、 Fraunhofer HHII1、 达 系 统 的 数据 报 文 协议 逐 层 进 行 解析 ， 最 终 实现 对 本 地 支持 
Intilop[ 以 及 Dini Group03 等 公司 也 分 别提 出 价格 不 菲 的 商 ”的 UDP 协议 请 求 协议 报 文 的 解析 、 本 地 协议 报 文 的 提取 以 
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及 无 关 报 文 的 过 滤 三 部 分 功能 ， 鉴 于 FPGA 硬件 结构 的 特殊 step 11): 提取 到 达 的 ARP 协议 报 文中 源 MAC 地 址 和 源 
性 ， 无 法 完整 实现 所 有 协议 的 解析 和 处 理 ， 针 对 于 设计 的 应 ”IP 地 址 ， 用 于 构建 ARP 缓存 表 以 及 后 续 APR 响应 报 文 的 重 
用 场景 ， 实 现 的 具体 处 理 算法 流程 如 下 图 2 所 示 。 组 ， 并 跳 转 结束 协议 解析 处 理 ; 
服务 器 step 12): 提取 到 达 的 ARP 协议 报 文中 源 MAC 地 址 和 源 
| 内 核 空间 | 用 户 空间 IP 地 址 ， 用 于 构建 ARP 缓存 表 以 及 后 续 ARP 响应 报 文 的 生 
1 有 一 > 成 ， 并 跳 转 结束 协议 解析 处 理 。 
| 2)ARP 响应 模块 
i ee 风 该 模块 实现 ARP 请 求 、 响 应 报 文 的 构建 以 及 ARP 缓存 
4 训 | Mt | || 处 | 二 ‘ 软件 表 的 维护 功能 。 基 于 FPGA 构建 该 模块 时 ， 采 用 FPGA 片 内 
了 | 借据 BLOCK RAM 存储 ARP 表 项 ， 鉴 于 硬件 资源 的 有 限 性 ， 故 
Die < 在 标准 的 ARP 协议 处 理 的 基础 上 , 该 模块 增加 了 硬件 资源 这 
一 限制 条 件 ， 即 当 BLOCK RAM 中 存储 的 ARP 表 即 将 溢出 
图 1 系统 结构 组 成 框图 时 ， 会 选择 性 删除 老化 时 间 最 长 的 表 项 ， 进 而 维持 整个 ARP 
Fig. 1 System structure composition block diagram 表 的 正常 操作 。 
首先 根据 ARP 请 求 报 文 信息 ， 构 建 ARP 响应 报 文 ; 其 
( 到 ) 次 响应 协议 封装 模块 请 求 ， 提 供 了 P-MAC 映射 服务 ， 并 定时 
| 刷新 ARP 缓存 表 , 根据 老化 时 间 删 除 过 期 表 项 ; 再 次 根据 需 
ty 求 ,对 于 缓存 表 中 未 存在 的 IP-MAC 映射 关系 , 主动 组 织 ARP 
是 SS 请 求 报 文 内 容 。ARP 缓存 表 维 护 的 算法 流程 如 下 图 3 所 示 。 
一 WP 为 本 地 服务 一 计 否 一 ~ 下 是 ( 开始 ) 
区 一 为 本 地 PB 一 a 
二 cv 一 人 a Ci a 六 2 
< Erm 一 - 
< 一 过 项 是 否 已 经 写 满 ?一 年 
和 & 


协议 类 型 和 代码 


不 
但 


删除 一 条 老化 时 间 最 长 
的 MAC-IP 表 项 


让 一 


无 
标志 为 ARP 响 应 ， 并 提 
取 源 MAC、 源 IP 地 址 


删除 超时 表 项 内 容 ， 生 成 
对 应 的 ARP 请 求 报 文 内 容 


_ 


提取 源 IP 地 


标志 为 ARP 请 求 ， 并 提 
取 源 MAC、 源 IP 地 址 


创建 新 的 缓存 表 项 


更 新 缓存 表 信 息 


人 ”结束 ) 


Fig.2 Protocol processing flowchart 


图 图 


2 协议 处 理 流程 


结束 ) 


图 3 ARP 缓存 表 维护 算法 流程 


Fig.3 ARP cache table maintenance algorithm flowchart 


区 | 


具体 处 理 算 法 步 又 如 下 所 示 。 ARP 缓存 表 维 护 具 体 步骤 如 下 所 示 。 
step 1): 判断 到 达 以 太 网 帧 的 以 太 类 型 是 否 为 0x0800， step 1): 判断 使 用 待 发 送 数据 包 的 目的 卫 地 址 与 缓存 表 
如 果 为 0x0800(IPv4 协议 )， 则 执行 step 2， 和 否则 执行 step7; 空间 中 的 表 项 进行 匹配 ， 如 果 匹 配 ， 执 行 step 2， 否 则 执行 
step 2): 判断 到 达 的 IPv4 协议 报 文 中 目的 卫 字段 是 否 step 3; 
匹配 本 地 配置 的 多 个 服务 卫 ， 如 果 命 中 本 地 多 个 服务 卫 中 step 2): 检查 表 项 空间 中 的 表 项 地 址 上 是 否 已 经 全 部 建 
的 一 个 ， 则 执行 step 3， 和 否则 丢弃 该 报 文 ; 立 了 缓存 表 项 ( 表 项 空间 是 否 已 经 被 使 用 完毕 ), 如 果 是 , 执行 
step 3): 判断 到 达 的 IPv4 协议 报 文 头 中 协议 字段 是 否 关 step 6， 和 否则 执行 step 7; 
ICMP， 如果 为 ICMP 协议 ， 则 执行 step 4， 否则 执行 step 6; step 3): 依据 缓存 表 中 存储 的 时 间 恰 与 当前 时 刻 进行 对 
step 4): 提取 到 达 的 ICMP 协议 报 文 中 源 卫 地 址 和 ICMP ” 比 , 判断 待 匹 配 的 缓存 表 项 是 否 已 经 超时 , 如 果 是 , 执行 step 
协议 号 ， 用 于 后 续 ICMP 响应 报 文 的 生成 ， 并 跳 转 结束 协议 4， 否则 执行 step 5; 
解析 处 理 ; step 4): 删除 超时 的 缓存 表 项 信息 ， 并 生成 对 应 的 ARP 
step 5): 判断 到 达 的 IPv4 协议 报 文 头 中 协议 字段 是 否 关 请 求 报 文 内 容 ; 
UDP， 如 果 为 UDP 协议 ， 则 执行 step 6， 和 否则 丢弃 该 报 文 ; step $): 更 新 缓存 表 项 的 时 间 戳 信息 ; 
step 6): 提取 到 达 的 UDP 协议 报 文 中 源 IP 地 址 ， 用 于 step 6): 删除 缓存 表 空 间 中 的 一 条 老化 时 间 最 长 的 表 项 ; 
后 续 UDP 响应 报 文 的 封装 ， 并 跳 转 结束 协议 解析 处 理 ; step 7): 在 表 项 空间 中 未 被 占用 的 地 址 上 创建 新 的 缓存 
step 7): 判断 到 达 以 太 网 帧 的 以 太 类 型 是 否 为 0x806, 如 表 项 。 
果 为 0x0806(ARP 协议 )， 则 执行 step 8， 和 否则 丢弃 该 报 文 ; 3) ICMP 协议 响应 模块 
step 8): 判断 到 达 的 ARP 协议 报 文中 目的 IP 字段 是 否 该 模块 实现 了 ICMP 协议 的 一 个 子 集 。 每 当 收 到 ICMP 
匹配 本 地 配置 的 多 个 服务 卫 ， 如 果 命 中 本 地 多 个 服务 IP 中 ”请 求 报 文 之 后 ,根据 当前 系统 的 状态 ,按照 ICMP 协议 规定 ， 
的 一 个 ， 则 执行 step 9， 否 则 丢弃 该 报 文 ; 对 应 生成 相应 的 响应 报 文 。 本 文 设计 的 UDP 协议 栈 目标 部 
step 9): 判断 到 达 数 据 帧 的 目的 MAC 地 址 是 否 为 全 F( 广 署 在 服务 器 端 , 故 根据 服务 终端 的 协议 特性 , 实现 了 包括 “所 
播 地 址 )， 如 果 为 全 F， 则 执行 step 10， 否 则 执行 step 12; 最 应 答 ”“ 超 时 ”和 “目标 不 可 达 ” 三 类 响应 功能 。 其 中 “ 开 
step 10): 判断 到 达 数 据 帧 的 目的 MAC 地 址 是 否 为 本 地 ”最 应 答 ” 用 于 支持 客户 端的 PING 信息 ,“ 超 时 ”用 于 支持 数 
MAC， 如 果 是 本 地 MAC 地 址 ， 则 执行 step 11， 否 则 丢弃 该 ” 据 段 TTL 过 期 , “目标 不 可 达 ” 用 于 指示 服务 器 端 未 开放 的 
报 文 ; 端 
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4) 协议 封装 模块 块 。PCIe IP 核 直接 在 Vivado 中 调用 ， 用 来 实现 PCIe 协议 的 
该 模块 主要 实现 两 个 功能 ， 其 一 是 对 UDP 数据 报 进行 ”物理 层 和 数据 链 路 层 。 如 图 5 所 示 ，PCIe-DMA 模块 主要 实 
协议 封装 ; 其 二 是 对 封装 后 的 UDP 协议 数据 帧 、ICMP 协议 现 了 UDP 协议 处 理 模块 与 上 位 机 软件 的 透明 通信 。 
光 作 十 FI 上 四 2 浙 认 了 Z 一 浊 人 > 2 
数据 帧 和 ARP 协议 数据 帧 进行 数据 合流 ， 统 发 送 到 10G [< 地址 位 2 数据 位 
MAC 接口 。 其 中 针对 UDP 报 进行 IP 协议 的 封装 时 , 需要 根 及 0 0 
据 用 户 的 卫 地 址 (目的 耳 地 址 ) 信 息 在 ARP 响应 模块 的 ARP 
缓存 表 中 匹配 查找 表 项 ， 并 获取 该 IP 地 址 对 应 MAC 地 址 信 2 
息 , 进而 将 该 全 包 封装 成 数据 帧 ,协议 封装 模块 的 结构 如 下 [Do 0 
时 [2°16-1 0 
图 4 所 示 。 
二 0 | 图 6 服务 端 放 标 志 
l 向 应 办 议 妆 | 
1 一 ee Fig.6 Schematic diagram of service port open sign 
| 协议 封装 模块 王 | [II IPT ee 
ee | 区 | 区 2 ”设计 验证 
目 帧 大 人 a ee 、_ 
AEAEEAE A 本 设计 的 验证 分 为 功能 仿真 验证 和 物理 性 能 验证 。 验 证 
| 的 硬件 平台 依托 于 斯 坦 福 大 学 的 NetFPGA-10G 板 卡 , 具有 4 
ARPH 应 模块 a A 八 10Gb/s Po Dpto 适 配 下 采用 Virtex TS 册 网 
和 2 FPGA 作为 主 处 理 芯片 ， 该 FPGA 可 用 的 逻辑 资源 为 
图 4 协议 封装 模块 组 成 图 18,720 可 编程 逻辑 单元 (configurable logic blocks)、2,400Kbit 
Fig.4 Protocol encapsulation module composition diagram 分 布 式 存储 单 元 (Distributed RAM) 和 11,664K(324x36K)bit 
5)UDP 协议 处 理 模 块 块 存储 单元 (Block RAMs)， 整 个 系统 采用 verilog 语言 开发 ， 
该 模块 主要 实现 UDP 协议 的 封装 和 拆 装 ， 以 及 UDP 校 ”基于 Xilinx 公司 的 Vivado 2016.4 工具 进行 开发 ， 并 使 用 
验 和 的 计算 ,以 及 与 应 用 软件 的 套 接 字 接口 和 数据 通道 UDP Xilinx ISIM 工具 进行 了 仿真 验证 , 仿真 结果 表明 该 协议 栈 设 
协议 处 理 模 块 与 应 用 软件 接口 如 下 图 5 所 示 。 计 能 够 正确 完成 ARP、ICMP、IPv4、UDP 等 协议 报 文 的 发 
去 端口 配置 送 和 接收 等 功能 。 如 下 图 7 所 示 ， 协 议 栈 实现 了 10G 速率 下 
< 一 J ee 
s x ee 数据 线束 的 接收 和 发 送 功能 。 
> 百 
协 口 | 接收 的 应 用 数据 软 
YY 一 | 
议 件 
处 8 Ny 
增发 目的 Ip+ 源 /目的 端 用 
区 送 
灾 发 送 的 应 用 数据 
| ! 图 7 功能 测试 结果 


图 5 UDP 协议 处 理 模 块 应 用 接 Fig.7 Functional test results 


Fig.5 UDP protocol processing module application interface 为 了 对 本 文 所 提出 的 设计 方案 进行 性 能 验证 ， 采 用 斯 博 
软件 应 用 运行 在 服务 端 ， 软 件 功能 在 提供 服务 之 前 ， 需 。 伦 TestCenter3.61 的 两 个 10G 接口 进行 实际 发 包 测 试 ， 采 用 


要 通过 配置 端口 向 硬件 协议 栈 申请 /释放 服务 端口 , 硬件 模块 ” ”逐步 增 大 测试 数据 包 MTU 长 度 的 方法 ， 测 试 本 系统 以 及 基 

根据 服务 端口 的 状态 ， 决 定 提 供 或 是 拒绝 服务 。 于 LINUX 原生 UDP 协议 栈 在 处 理 不 同 数据 包 长 情况 下 的 

当 该 模块 接收 到 来 自 线路 的 数据 时 ， 若 通信 的 目的 端口 生 能 ， 测 试 结果 如 图 8 所 示 。 

为 开放 状态 , 硬件 则 进行 UDP 协议 的 拆 装 , 提取 通信 套 接 字 

和 接收 数据 ;， 若 通信 的 目的 端口 为 关闭 状态 ， 硬 件 则 丢弃 该 10 

UDP 数据 段 。 

当 该 模块 接收 到 来 自 软 件 的 数据 时 ， 者 通信 的 源 端 口 为 

开放 状态 ， 硬 件 则 根据 软件 提供 的 套 接 字 和 应 用 数据 ， 封 装 

成 UDP 数据 段 ; 若 通信 的 源 端口 为 关闭 状态 , 硬件 则 丢弃 该 

应 用 数据 。 
为 了 实现 服务 器 场景 下 对 众多 UDP 端口 状态 的 管理 ， 

支持 多 端口 多 点 业务 的 并 发 连接 ， 该 模块 内 部 采用 双 口 em 

BRAM 建立 了 一 个 地 址 为 16bit 位 宽 的 端口 状态 表 ， 软 件 系 

统 通过 申请 /释放 操作 将 该 查找 表 中 对 应 端口 号 设置 为 开放 / ?100 200 400 oe 1000 1200 1400 

关闭 ， 状 态 表 中 共有 2 个 地 址 ， 可 以 将 UDP 所 有 的 端口 号 

一 一 映射 到 该 表 中 , 且 每 个 表 项 内 有 1 bit 指示 位 用 于 标志 该 8 性 能 测试 结果 

端口 号 是 否 开 放 ， 如 下 图 6 所 示 ，53 端口 (DNS 协议 ) 状 态 开 Fig.8 Performance test results 

放 。 并 结合 时 间 和 事件 触发 机 制 轮 询 整个 状态 表 ， 实 现 对 整 从 图 8 中 看 以 看 出 ， 随 着 数据 报 文 MTU 值 的 增加 ， 硬 

个 UDP 端口 的 生存 周期 管理 。 通 过 在 FPGA 片 内 资源 搭建 ” 件 协 议 栈 对 于 UDP 协议 负载 的 传输 能 力 越发 贴近 理论 值 ， 

这 样 一 个 端口 状态 查找 表 ， 支 持 多 端口 状态 的 并 行 查找 ， 实 。 ”而 软件 实现 的 UDP 协议 栈 限于 处 理 器 串 行 处 理 能 力 的 瓶颈 ， 

现 多 端口 多 业务 的 共存 ， 利 用 双 端 口 RAM 的 操作 特性 ， 也 “与 本 方案 的 性 能 差距 愈 发 明显 ; 当 MTU 达到 1400 字 节 时 ， 
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UDP 吞吐 量 (传输 层 ) /Gbps 


对 


可 以 有 效 提升 多 端口 多 业务 时 状态 的 查找 速率 。 协议 栈 对 于 UDP 数据 可 以 达到 9.32Gbps 的 传输 速率 ， 接 近 
6)PCIe-DMA 模块 理论 值 9.7Gbps， 达 到 了 设计 的 要 求 ， 满 足 10G 链 路 上 线 速 


PCIe-DMA 模块 主要 包括 Xilinx PCIe IP 核 和 DMA 模 ”传输 数据 的 需求 。 
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一 的 点 到 点 传输 , 无 法 适用 于 10G 网 络 环境 下 提供 多 点 并 发 
连接 的 服务 器 场景 ， 本 文 研究 了 一 种 面 
UDP 硬件 协议 栈 , 本 设计 充分 利用 硬件 在 并 行 处 理 上 的 优势 ， 
流水 化 设计 UDP 协议 处 理 流程 ， 将 
FPGA 中 ， 降 低 于 传输 层 协 议 对 处 理 器 的 处 理 需 求 ， 


结束 语 


传统 基于 FPGA 的 UDP/P 协议 栈 而 


究 都 是 集中 在 一 对 


XX 
向 服务 器 应 用 场景 的 


I 


UDP 协议 处 理 固化 在 
提升 系 


统 的 传输 效能 ,通过 实验 结果 表明 ,该 协议 栈 可 以 适用 于 10G 


网 络 UDP 协议 的 线 速 处 理 。 在 未 来 的 工作 中 ， 将 


熏 回 SG hy 


用 场景 上 一 些 传输 速率 非常 高 的 服务 进行 研究 和 讨论 ， 并 研 


究 其 与 智能 网 卡 方向 的 结合 与 应 用 。 
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